OSWorld-Pro: Process-based Evaluation for Computer Use Agents
OSWorld-Pro：面向计算机使用Agent的过程性评估基准
🧭 Agent 过程性评估基准
NVIDIA
用 2800+ 子目标与 LLM-Judge 评估 CUA 过程性失败，揭示 Claude Opus 5 仅 75.7%
📌 工作参考价值（4 点）
- 对推荐/电商 Agent 的长链路任务（如“找到商品并下单”）不要只看最终成交，可拆成 query 理解、筛选、加购等顺序子目标，用 LLM-Judge 对每个子目标达成做过程性奖励，定位失败环节。
- 可以借鉴其 subgoal 标注方法：由人工标注关键中间态，构建带部分奖励的数据集，用于强化学习或 SFT，让模型学会逐步推进而不是跳步。
- 关注失败模式分类（如点击错误 vs 键盘输入错误、子目标无关动作），在 GUI Agent 中可对应到 UI 操作与 API 调用，针对高频错误做 action space 剪枝或提示优化。
- 用 LLM-Judge 代替人工做过程性校验时，需要与人工标注做对齐验证，确保 judge 可靠后再上线到自动化评估流水线。